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Алгоритм розв’язання задач! прогнозування 


В статье рассмотрены основные методы прогнозирования и предложен новый алгоритм, основанный 
на методе группового учёта аргументов и искусственных нейронных сетях. Алгоритм проверен на 
реальных данных и показал результаты лучше, чем нейронные сети. Также была найдена эксперименталь- 
ная зависимость среднеквадратической ошибки прогноза, полученного с помощью данного алгоритма и 
нейронных сетей, от количества точек в обучающей выборке. 
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Введение 


Прогнозирование всегда было и будет одной из наиболее интересующих че- 
ловечество тем, поскольку знание будущего является, пожалуй, одним из самых за- 
ветных его желаний. Однако люди, использующие результаты прогноза, должны 
понимать опасность выбора неадекватных методов прогнозирования, так как некор- 
ректные прогнозы могут привести к принятию неверных решений. 

Немалая часть аппарата прогнозирования, используемого сегодня, была разра- 
ботана в ХПХ ст. Примером могут служить процедуры регрессионного анализа. 
Однако с появлением и развитием вычислительной техники начал развиваться и 
усложняться аппарат прогнозирования — стали появляться всё более сложные ме- 
тоды, требующие всё болыших вычислительных мощностей — метод группового 
учёта аргументов, искусственные нейронные сети. 
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Целью данной статьи является разработка нового метода прогнозирования, 
учитывающего и использующего возросшие мощности современной вычислитель- 
ной техники. 


Математическая постановка задачи прогнозирования 


Пусть заданы п дискретных отсчетов {х, ных, } в последовательные моменты 
времени (,(.,...,,. Тогда задача прогнозирования (рис. 1) состоит в предсказании зна- 


ЧЕНниЯя Х,., В некоторый будущий момент времени 1 где к - длительность прогноза: 


п+К ? 
Х к = Е(ХьХонкох, 


где Е - функциональный преобразователь. 
А В 
ЗЕ ААЕНЕ. АОИ Е { 


Рисунок 1 — Графическая иллюстрация постановки задачи прогнозирования: 
А -— известные значения; В — прогнозируемый период 


Обзор существующих методов прогнозирования 


Перечислим основные методы прогнозирования. 
Метод скользящего среднего [1]. Метод основывается на простой модели, ко- 


торая предполагает, что текущее значение у,, ( в 1..0) ряда ны является 


суммой среднего арифметического некоторого количества предыдущих значений и 
некоторой случайной составляющей. 

Метод взвешенного скользящего среднего [1]. Следующим шагом в моди- 
фикации модели является предположение о том, что более поздние значения ряда 
более адекватно отражают ситуацию. Тогда каждому значению присваивается вес 
тем больший, чем более «свежее» значение добавляется. 

Метод группового учета аргументов (МГУА) [2]. МГУА - это набор алгорит- 
мов прогнозирования (а точнее, математического моделирования), который основы- 
вается на разбиении исходных данных на две выборки: обучающую и проверочную 
и использовании опорных функций некоторого вида, параметры которых находятся 
из обучающей выборки, а проверка того, насколько хорошо они моделируют за- 
данный ряд, выполняется на проверочной выборке. 

Искусственные нейронные сети (ИНС) [3]. Основной элемент нейронной сети — 
формальный (искусственный) нейрон. Он представляет собой математическую мо- 
дель биологической нервной клетки. 

ИНС представляют собой систему соединённых и взаимодействующих между 
собой искусственных нейронов. 

ИНС не программируются в привычном смысле этого слова, они обучаются. 
В процессе обучения нейронная сеть способна выявлять сложные зависимости между 
входными и выходными данными, а также выполнять обобщение. 

Способности нейронной сети к прогнозированию напрямую следуют из ее 
способности к обобщению и выделению скрытых зависимостей между входными и 
выходными данными. После обучения сеть способна предсказать будущее значение 
некой последовательности на основе нескольких предыдущих значений и/или каких- 
то существующих в настоящий момент факторов. 


«Штучний 1нтелект» 22012 25 


1-Ч Чумаченко Е.И., Горбатюк В.С. 


Главным преимуществом ИНС перед другими методами прогнозирования 
является то, что сети с одинаковым успехом могут прогнозировать процессы, ре- 
гулярная составляющая которых имеет любой закон изменения значений, в то время 
как большинство остальных методов лучше всего подходит для процессов, регуляр- 
ная составляющая которых принадлежит к определенному классу (очевидно, что 
метод полиномиального сглаживания лучше всего подходит для процессов с полино- 
миальной регулярной составляющей, метод сглаживания рядами Фурье -— для про- 
цессов с периодической регулярной составляющей и т.д.). Еще одним важным пре- 
имуществом нейронных сетей является возможность обучения. 

В данной статье предложен алгоритм прогнозирования, основанный на двух 
распространенных методах — ИНС и МГУА. 


Алгоритм решения задачи прогнозирования 


Предложенный алгоритм совмещает в себе преимущества как ИНС, так и МГУА: 
постепенное увеличение сложности модели МГУА и возможность обучения ИНС, и 
состоит из следующих шагов: 

1. Предварительная обработка исходных данных, включая избавление от выбросов, 
нормализацию данных (приведение к некоторым границам, например Е, + 1]) ит.д. 


[4-7]. Этот этап часто является важнее этапа моделирования. Также следует учиты- 
вать специфические характеристики прогнозируемого процесса, как-то сезонность 
значений в случае предсказании различных атмосферных показателей, трендовую 
составляющую в большинстве финансовых процессов и т.д. 

В работе [6] показана важность избавления от ненужных выбросов в исходных 
данных при использовании искусственных нейронных сетей. Очень важно определить, 
является ли данное значение случайным, и, следовательно, ненужным выбросом, или же 
этот выброс является информативным. Для этого следует учитывать сам прогнози- 
руемый процесс, например, если требуется построить модель энергопотребления не- 
которого региона в зависимости от дня недели, то следует учитывать, что энерго- 
потребление по выходным дням будет резко отличаться от потребления по будним 
дням, и, следовательно, значения потребления в выходные дни не будут являться не- 
нужными выбросами. В этом случае вполне разумным будет при обучении сети по- 
давать на еб входы также бинарное значение, которое будет равно единице в случае 
выходного дня, и нулю в обратном случае. 

Если же известно, что прогнозируемый процесс не содержит информативных 
выбросов, то существует несколько основных алгоритмов избавления от случайных 
выбросов: 

Г. Простейший алгоритм, основанный на характеристиках случайной вели- 
чины, согласно которому выбросами считаются все значения, отклонённые от сред- 
него на величину, большую, чем 2...3 среднеквадратических отклонений о°. 

П. Алгоритм ТиКеу 5ЗН [7], который заключается в построении сглаженной 
последовательности, используя медианный фильтр и фильтр скользящего среднего, 
после чего выбросами будут считаться все исходные значения, отклонение которых 
от значений сглаженной последовательности больше чем некоторый наперед задан- 
ный порог К. 

2. Из данных вида Х = {х, ‚п = 1...№ ‚ где М — количество отсчётов, полученных 


в результате предыдущего этапа обработки, методом скользящего окна формируют- 
ся две следующие матрицы: 
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где К — размер окна. С помощью этих матриц в дальнейшем будет осущест- 
вляться обучение сетей — каждый вектор-строка х, = {х О } п=1...щ (где 


п — количество строк матрицы) матрицы Хх (о) и соответствующее ему значение у, 


являются независимым примером, а вектор-столбец х, = а } 2=1...К — 
отдельной переменной. 

3. Полученные примеры делятся в некотором соотношении (обычно 0.7т : 0.3т ) 
на обучающую и проверочную выборки. 

4. Определяется вид опорных функций, а именно от каких переменных они будут 


2 2 2 
зависеть, например Ё, ках или Ё Ех ых, *х хх), где 1=1...С, — коли- 


чество вариантов выбора двух переменных из К возможных (в общем случае 1 =1...С; , где 
о — количество переменных, отбираемых как аргументы опорных функций). В отличие от 
МГУА, где также определяется конкретный вид функций (например Ё =а, +а, *х, +а, *х,) 
в данном алгоритме выбираются лишь переменные, от которых будут зависеть опорные 
функции (степени переменных и их ковариации можно представить как дополнительные 
переменные), а нахождение зависимости значения функции от переменных будет 
осуществляться нейронной сетью. 

5. Составляются С; (о — количество переменных, учитываемых в опорных 
функциях, для описанного выше примера о = 2) простых многослойных персептронов 
(МП) с одним выходом, одним скрытым слоем с малым количеством нейронов (около 3) 
в нём, и нужным количеством входов (для опорных функций вида #Ё = Е(х,,х ы сеть 
должна иметь 2 входа, для Ё = Е(крхьх, *х ьх2,х?) — 5 ВХОДОВ И Т.Д.). 

6. Каждый персептрон сопоставляется с конкретной опорной функцией, а именно 
выбираются переменные, которые будут подаваться на входы сети (например, для опор- 

КИ 2 2 
ных функций вида Ё =Ёх,,х,,х,*х,,х,,х; ) один МП будет работать с переменными 


ее к. а другой — с переменными х,,х,,х, В 5 и обучается, 
используя только примеры из обучающей выборки. 

7. На этом шаге следует составить исходные данные для следующей итерации 
алгоритма. Для этого следует определить среднеквадратическую ошибку (СКО) каждого 
МП на проверочной выборке и отобрать К лучших (также можно отобрать меньшее 
количество, но дополнив их исходными переменными, которые были входами сетей 
с малой СКО) сетей, после чего составить новую матрицу: 


Ва, Ша че, 
Хх и В. В >> о В 
Ь т Во Вх 


где В, — значение выхода }-Й из К лучших сетей при подаче на её входы 1-го 


примера, 1=1...т,]=1...К (либо исходная переменная). 
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8. Выполняется следующая итерация, но в качестве исходных примеров берется 
уже матрица ХИ. Итерации выполняются, пока значение СКО сетей на проверочной 
выборке уменьшается, либо пока не будет достигнута требуемая СКО. 

9. В ходе алгоритма на каждой итерации следует запоминать структуру и веса 
сетей (и/или исходных переменных), которые были отобраны для получения матрицы 
исходных примеров для следующей итерации. После достижения требуемой СКО (либо 
достижения итерации, после которой СКО начинает расти) выполнение итераций 
прекращается, и отбирается единственная сеть, которая в дальнейшем и будет прогно- 
зировать окончательное значение. Для дальнейшего прогнозирования некоторого значе- 
ния х, с использованием полученных результатов требуется: 

Г. Составить исходный пример шр = И: НЫ }. 

П. Подать данный пример на входы тех МП, которые были использованы для 
получения матрицы исходных примеров второй итерации, и, используя полученные 
значения выходов (и/или исходных переменных), составить новый входной пример 
для второй итерации. 

Ш. Повторять второй шаг пока не будет составлен входной пример для итерации, 
на которой была совершена остановка алгоритма, после чего подать составленный 
пример на входы отобранного МП, выход которого и будет прогнозом значения х.. 


Преимущества и недостатки алгоритма 


Преимуществом данного алгоритма, по сравнению с МГУА, является то, что не 
требуется явно задавать вид опорных функций, требуемую зависимость будут находить 
нейронные сети, которые, как известно, очень хорошо справляются с этой задачей. 

Данный алгоритм также лишен некоторых недостатков ИНС: во-первых, при по- 
строении сети заранее неизвестна её оптимальная сложность, а во-вторых, слишком про- 
стая нейронная сеть может не полностью смоделировать прогнозируемый процесс, а 
слишком сложные сети склонны к так называемому «оверфиттингу», или переобучению, 
в результате которого сеть начинает моделировать шум, присутствующий в обучающей 
выборке, и как следствие показывает плохие результаты на проверочной выборке. 
Предлагаемый же алгоритм на каждой итерации использует простые сети, не склонные к 
переобучению, но за счет каскадного усложнения способен прогнозировать очень 
сложные процессы. 

Главным недостатком предложенного метода является его ресурсоемкость, так как 
на каждой итерации строится некоторое количество нейронных сетей, что может по- 
требовать немало времени. Но за счет использования численно-оптимизированных 
алгоритмов обучения нейронных сетей и общей оптимизации алгоритма, можно достиг- 
нуть сравнительно быстрой работы метода. 


| езультаты применения изложенного алгоритма 


Для проверки предложенного алгоритма был использован публично доступный 
набор данных годовых цен на медь с 1800 по 1997 год [8]. 
Для конкретной реализации алгоритма использовались следующие параметры: 
1. Размер скользящего окна для получения матриц исходных примеров К =5. 
2. Соотношение размеров обучающей и проверочной выборки -— 0.7т : 0.3 ‚ где 
т — общее количество исходных примеров, причем для составления обучающей вы- 
борки использовались первые 0.7т примеров; 


3. Вид опорных функций — Ё "Ех ьх, *х,х2,х?), 1=1...С2,1=1...5,]=1...51#}; 
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4. Структура МП: один выход, один скрытый слой с 3 нейронами, 5 входов; 

5. СКО для отбора сетей вычислялась на всех исходных примерах, то есть на 
проверочной и обучающей выборке; 

6. Для создания матрицы исходных примеров для следующей итерации брались 
выходы 3 сетей с минимальной СКО на обучающей и проверочной выборке, и 2 
исходных переменных, которые являлись входами сети, показавшей наименьшую 
СКО. 

Для сравнения результатов работы алгоритма также был построен многослойный 
персептрон с одним выходом, 2 скрытыми слоями, с 8 нейронами в первом слое и 5 во 
втором, и 5 входами. МП, как и предложенный алгоритм, обучался лишь на обучающей 
выборке. Поскольку известно, что ИНС также склонны к «застреванию» в локальных 
минимумах функции ошибки сети, было обучено около десятка МП, и выбран персепт- 
рон с минимальной СКО. 

Сравнение результатов, полученных при использовании ИНС и данного ал- 
горитма без предварительной обработки данных и с предварительной обработкой, 
показано на рис. 2 и рис. 3 соответственно. 
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Рисунок 2 — Сравнение результатов прогноза ИНС (слева) и предложенного 
алгоритма (справа) (без предварительной обработки данных). 
— прогноз, —*— — исходные значения 
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Рисунок 3 — Сравнение результатов прогноза ИНС (слева) 
и предложенного алгоритма (справа) (с предварительной обработкой данных). 
— < прогноз, —*  - исходные значения 


В качестве алгоритма предварительной обработки данных использовался ранее 
описанный алгоритм Такеу 53ЗН. Значение СКО без предварительной обработки 
данных: ИНС - 1256.5, предложенный алгоритм — 920.0306; с предварительной об- 
работкой: ИНС - 507.0927, алгоритм - 355.4813. 
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Из обоих рисунков видно, что обученный персептрон хуже прогнозирует значения 
проверочной выборки (самые поздние значения), в то время как предложенный алгоритм 
одинаково хорошо прогнозирует значения как обучающей, так и проверочной выборки, 
хотя для построения сетей использовалась лишь обучающая выборка, что говорит о более 
точной модели процесса. 

К тому же алгоритм показал значительно лучшую СКО при прогнозировании 
без предварительной обработки данных, что говорит о возможности его применения 
для прогнозирования зашумленных данных. 

Также, для сравнения работы предложенного алгоритма и ИНС при различном 
количестве точек в обучающей выборке были вычислены СКО алгоритма и ИНС на 
всей исходной выборке, полученные после их обучения на обучающей выборке с 
изменяющимся количеством примеров в ней. Результаты приведены в табл. | и 
представлены графически на рис. 4: 


Таблица 1 — СКО алгоритма и ИНС при различном количестве точек 
в обучающей выборке 


0,7 0,9 


950,03 


ИНС 5801,7 | 10230 | 7688,6 | 3445,2 | 1531,2 | 1903,3 | 1237,4 1226,9 1024,5 
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Рисунок 4 — Графическое представление СКО алгоритма и ИНС в зависимости 
от количества точек в обучающей выборке. —— - СКО алгоритма, 


—*___ среднеквадратическая ошибка ИНС 


В обучающую выборку отбирались первые К*т примеров, где К = 0.1...0.9, ш — 
общее количество исходных примеров (193 для данного случая). Как видно на рис. 1, 
алгоритм даёт значительно меныпую СКО при малом количестве точек в обучающей 
выборке, что также говорит о более адекватной модели процесса. 

Также можно заметить, что начиная с некоторого значения К СКО как сети, так и 
алгоритма резко возрастают, что свидетельствует о недостаточной информативности 
обучающей выборки, и как следствие неполной модели. 


Выводы 


Предложенный алгоритм показал лучшие результаты по сравнению с искусст- 
венными нейронными сетями, как в условиях зашумленности данных, так и при малом 
количестве обучающих примеров, что говорит о целесообразности его дальнейшего 
использования для задачи прогнозирования. 
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ЕЛ. Спитасйепко, У.5. НотраниК 
А[еотийт оф5о[лте Фе Еотесазипе Рто ет 


Те ригрозе оЁ Ше ага 1$ ю шводисе Фе пе\ тефо4 оЁ зо!уше Фе Гогесазйпх ‘а$К. 
Аз а Базе оЁ #15 тефод4, агайсла| пеига! пебуогК$ ап этоир тефо4 оЁ даа Бапайпе \уеге 
изе4. Тре плат 14еа 1$ ю изе агайсла| пеига| пебуогК$ шуеа4 оЁ ргедебпед РапсНоп$ аё еасВ 
Цегапоп оЁ Фе этоир тефо4 оЁ даа ВапаНпе. 

ТБе адуатасе$ оЁ 1$ арргоась 1$ а Фете 15 по пее {о дейпе а буре оЁ Рапсйоп$ {о Ъе 
и5е4 ш Гогесазипе ап4 а[зо фа оу агайсла! пепга| пебмогК$ зу а заре згасвте аге изе4 
аё еась Иеганоп Физ ргеуепипе оуег Не. Тбе таш Фзадуащасе 1$ Фаё а 10 оЁ 
сотршайопа| гезоигсез аге пееде4 {о Вапе стеаНоп ап игашите оЁ тапу пеига] пебуо!К$. 

ТБе а1гоп@т Уаз {е$е4 оп геа| ааа (ореп 4аазе! оЁР уеайу соррег рисез, 1800-1997) 
ап зВо\уе4 ЪБецег гези5 ш сотрайзоп У пеига! пебмойк$, езремаПу оп Фе {езИпе $6 
\№МсВ изиаПу теапз Бецег оепегаПтаноп (ка поплаН7еа МЗЕ оп Фе наше ап4 оп Фе 
{езНие ес оЁ Ше агайс1а! пеига| пебмогк$ \аз 1.257 ш сотрайзоп ю Ше а|еог’5 МЗЕ оЁ 
0.920). 

Тре ехрегитетиа| 4ерепдепсе оЁ а теап заааге ргеФсНоп еггог, омаше \уий Фе 
ие оЁ оНеге4 а!еогит апа пейга] пебуогК$, оп Фе питЬег оЁ рош5 ш Фе пашиао $еи 1$ 
а1зо юипа. ТВе а!еоги т Баз зВо\уп еуеп Бецег гези ш сотрамзоп \Ий пеига! пебмогК$ 
у\Беп Фе питфег оЁ ро! ш а Наше зе Бесате зтаПег. 


Статья поступила в редакцию 27.04.2012. 
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